Spark

您所在的位置:网站首页 spark cache的释放 Spark

Spark

2023-09-08 04:43| 来源: 网络整理| 查看: 265

cache和unpersist没有使用好,跟根本没用没啥区别,例如下面的例子,有可能很多人这样用:

val rdd1 = ... // 读取hdfs数据,加载成RDD rdd1.cache val rdd2 = rdd1.map(...) val rdd3 = rdd1.filter(...) rdd1.unpersist rdd2.take(10).foreach(println) rdd3.take(10).foreach(println)

上面代码的意图是:既然rdd1会被利用两次,那么就缓存起来,用完后释放内存。问题是,rdd1还没有被复用,就被“释放”了,导致rdd2,rdd3在执行take时,仍然需要从hdfs中加载rdd1,没有到达cache效果。   这就是很多人使用cache和unpersist的误区,以为cache没起作用,其实是自己使用的问题。

原理   这里要从RDD的操作谈起,RDD的操作分为两类:action和tranformation。   区别是tranformation输入RDD,输出RDD,且是缓释执行的;而action输入RDD,输出非RDD,且是即刻执行的。   上面的代码中,hdfs加载数据,map,filter都是transformation,take是action。所以当rdd1加载时,并没有被调用,直到take调用时,rdd1才会被真正的加载到内存。

  cache和unpersisit两个操作比较特殊,他们既不是action也不是transformation。cache会将标记需要缓存的rdd,真正缓存是在第一次被相关action调用后才缓存;unpersisit是抹掉该标记,并且立刻释放内存。

  所以,综合上面两点,可以发现,在rdd2的take执行之前,rdd1,rdd2均不在内存,但是rdd1被标记和剔除标记,等于没有标记。所以当rdd2执行take时,虽然加载了rdd1,但是并不会缓存。然后,当rdd3执行take时,需要重新加载rdd1,导致rdd1.cache并没有达到应该有的作用。所以,正确的做法是将take提前到unpersist之前。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3